package com.atguigu.flink04;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.connector.kafka.sink.KafkaRecordSerializationSchema;
import org.apache.flink.connector.kafka.sink.KafkaSink;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @author Felix
 * @date 2024/2/22
 * 该案例演示了Sink到kafka
 * 需求：从指定的网络端口读取数据，将数据写到kafka
 * 创建KafkaSink对象，底层可以保证生产到kafka的数据的精准一次，具体的实现方式(2PC)
 *      需要做如下设置
 *          //需要开启检查点
 *          env.enableCheckpointing(5000L);
 *          //指定精准一次写入，底层会开启事务，使用两阶段提交
 *          .setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
 *          //指定事务的id，不同的作业事务id应该不一样
 *          .setTransactionalIdPrefix("xxxx")
 *          //设置事务的超时时间
 *             检查点超时时间 < 设置事务的超时时间  < 事务最大超时时间(15min)
 *          //在消费端，需要设置消费者消费数据的隔离级别
 *          .setProperty(ConsumerConfig.ISOLATION_LEVEL_CONFIG,"read_committed")
 */
public class Flink09_Sink_Kafka {
    public static void main(String[] args) throws Exception {
        //TODO 1.指定流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //TODO 2.从指定的网络端口读取数据
        DataStreamSource<String> socketDS = env.socketTextStream("hadoop102", 8888);
        //TODO 3.将流中数据写到kafka的主题

        KafkaSink<String> sink = KafkaSink.<String>builder()
                .setBootstrapServers("hadoop102:9092")
                .setRecordSerializer(KafkaRecordSerializationSchema.builder()
                        .setTopic("first")
                        .setValueSerializationSchema(new SimpleStringSchema())
                        .build()
                )
                .build();

        socketDS.sinkTo(sink);
        //TODO 4.提交
        env.execute();
    }
}
